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< Компоненты игрового сервера 
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“Производительность 
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ЧТО БЫЛО ИЗНАЧАЛЬНО? 


• 2007 год 

° Риге Јама SE 

° Проприетарные протоколы 

e Проприетарное API 

• Библиотеки Hibernate, GWT, Trove 
collections, Protobu!... 


ИНТЕРЕСНО, НО НЕ 
ЭФФЕКТИВНО 


| • Много интересных вешей 
Gro кодогенерациа, правка баит-кода на лету 
• Отсутствие документации 
° Отсутствие обших руководств 
*-StaclecOverflew-Priven-Develepment- 
• Нужен функционал – запили. 
° Сложность поддержки 
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ЧТО МЫ ИСПОЛБЗУЕМ 2 


° PostgreSQL 
° Photon Cloud 


x ° Kafka 


° Hazelcast 
° Vert.X 
• Prometheus + Grafana 
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9 Игровая механика 
9 Верификация действий 
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• «Комнаты» для игры 

е Дата-центры в Х точках на всех 
континентах (пингвинов обидели) 

• Динамическое выделение железа 

е Заточен под игры, но не только 
(например – текст/звук/видеочат) 


CLOUD 
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9 Слой хранения данных 
9 Система логирования 
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Распределенный брокер сообшений 
• Горизонтальное масштабирование 
• Хранение сообшений 

• Репликация 


МҮ,САМЕ5 
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9 Игровая механика 

9 Метаигра 

9 Чат 
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HAZELCAST 


In memory Data Grid 


° Интегрирован B Vert.X 

° Работа B кластере 

° Балансировка 

° Горизонтальное масштабирование 
• Добавление/отказ узла 

° Распределенные структуры данных 
• Запросы 
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е Подбор соперника 
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VERT.X 


VERT.X 


* Свободно-распространяемый фреимворк or Eclipse для 
построения реактивных распределенных событийно- 
ориентированных приложений, работаюших на ЈУМ 
Verticle - однопоточный сервис 

• Распределенная шина сообшений 

° Асинхронность 

• Параллелизм 

е Мультиязычность 
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VERT.X 
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VERT.X 


OPERATION EXECUTOR 


• Обьявляем сушности, с которыми работаем 
(можно потребовать эксклюзивного доступа 
через блокировки) 

• Берем необходимые блокировки 

° Достаем из Hazelcast указанные сушности 

• Исполняем код операции 

° Отправляем в Hazelcast измененные сушности 

• Снимаем блокировки 

° Исполняем callback на завершение операции 


31 


DEADLOCK ПРИ БЛОКИРОВКЕ 
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° Операция 1 берет блокировку на ресурс А 
МЕРТУ • Операция 2 пытается взять блокировку на 
ы ресурс Аи ждет 
• Операция 1 пытается взять блокировку на 
ресурс В 
° ... И внезапно deadlock 
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VERT.X 


ГДЕ-ТО ВНУТРИ VERT.X 


° T1:Lock(A) 


DEADLOCK ПРИ БЛОКИРОВКЕ 
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° https://groups.google.com/g/vertx/c/-uvLMuubpz8/m/OB2JzdDdAwAJ 
VERTX | | 
° https://github.com/vert-x3/vertx-hazelcast/issues/41 
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VERT.X 


ПОЯСНЕНИЯ OT АВТОРА 


Тһе original reason executeBlocking defaults to ordered=true [it's 
more general than just hazelcast usage) is something like this: 


Imagine you have a web application and request #1 comes in - 
this requests inserts some data into a database (e.g. add to 
shopping basket) 

Immediately after this requests 42 comes in - this selects the 
same data from the database (e.g. view shopping basket) 
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• Написали сервер, который исполняет операцию 

• Написали клиент, который шлет операцию на сервер 

° Тестируем в разных конфигурациях производительность 

• Бсе очень плохо... 

• БД??? Убираем работу с базой 

• Бсе очень плохо... 

• Продолжаем тестировать в разных конфигурациях 
производительность 
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МЕРТУ. • Написали сервер, который исполняет операцию 
27% • Написали клиент, который шлет операцию на сервер 
° Тестируем в разных конфигурациях производительность 
• Все очень плохо... 
° БД??? Убираем работу с базой 
• Все очень плохо... 
• Продолжаем тестировать в разных конфигурациях 
производительность 
• Все очень плохо... но иногда хорошо... 


PROMETHEUS + GRAFANA 
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VERT.X 


«ГОНКА» B VERT.X ПРИ 
СОЗДАНИИ КАНАЛА 


Внутри Vert.X при создании канала код брал блокировки 
Когда одновременно создавалось много каналов – код 
работал очень долго 

Мы создавали по каналу на пользователя - при большом 
количестве пользователей создание каналов шло очень 
медленно 

Переделали схему создания каналов на каналы по 
сообщениям 

Сделали фикс для создания каналов B Vert.X 

Сделали пул-реквест для работы Vert.X + Prometheus 
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ОСОБЕННОСТИ 
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ОБНОВЛЕНИЕ ИГРБ! 


Бизнес-требования 


• Врема простоя ^ min 
• Цена разработки — min 
• Выручка - тах 
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ПРОЦЕСС ОБНОВЛЕНИЯ 


• Задержка доступности обновления 
е Шарды с разными версиями 

° Единая БД 

е «Мягкое» обновление 

е «Жесткое» обновление 


ПЕРЕХОД ИГРОКОВ НА 
НОВУЮ ВЕРСИЮ 


18 12:00 02/09 00:00 02/09 12:00 02/10 00:00 02/10 12:00 
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Внутри игрового шарда (описание игрока) 
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° Информация об игроке 
• Предметы игрока 


• Квесты игрока 
° Игровые счетчики 


СТРУКТУРБ! В 
HAZLECAST 
Обший для шардов (например, турнир) 
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* Игроки 
° Очки 
еее” • Попытки 


ПРОИЗВОДИТЕЛБНОСТБ 


50К АКТИВНЫХ ` 
ПОЛЬЗОВАТЕЛЕЙ 


е Game Servers: 2х8 2.5GHz Xeon + 3266 RAM x3 
* GameDB Server: 1x8 2.5GHz Xeon + 256Gb RAM 
* Account Server: 1x8 2.5GHz Xeon + 4Gb RAM 


БОК АКТИВНЫХ ` 
ПОЛЬЗОВАТЕЛЕЙ 


° Game Servers: 2x8 2.5GHz Xeon + 3266 RAM x3 
* GameDB Server: 1x8 2.5GHz Xeon + 256Gb RAM 
* Account Server: 1x8 2.5GHz Xeon + 4Gb RAM 

* AccountDB Server 

• Kafka 

• ETL 

* GametoolDB Server 

* Gametool WEB Server 

* Nginx 
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ВАРИАНТЫ 
МАСШТАБИРОВАНИЯ 


• СРО – горизонтальное добавление 
железа в кластер 

° БД – vanilla PostgreSQL нет 
шардирования > лучше железо 

° Записьв IMDG, синхронизация c 
PostgreSQL отложеннаа 

• Разные шарды 
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ВЫВОДЫ 


• Стек технологий хорошо 
масштабируется и реально 
работает 

• Ошибки встречаются 

• Универсальность хорошо, но не 
всегда 
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МАРК ЛОКШИН 
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